Fix typos and reword slightly

Blurb about Cargo inner workings

Auto merge of #4146 - alexcrichton:bump, r=alexcrichton

Bump to 0.21.0

We're working on the next version now!

Bump to 0.21.0

We're working on the next version now!

Auto merge of #4145 - rust-lang:matklad-patch-1, r=alexcrichton

Fix flaky test

closes #4144.

Fix flaky test

Auto merge of #4141 - Keruspe:master, r=alexcrichton

update git2

Fixes build with libressl

update git2

Fixes build with libressl

Signed-off-by: Marc-Antoine Perennou <Marc-Antoine@Perennou.com>

Auto merge of #4139 - Keruspe:master, r=alexcrichton

Include rustc version in metadata

Followup to #4134
Fixes https://github.com/rust-lang/rust/issues/42483

Auto merge of #4137 - tshepang:immutable, r=alexcrichton

binding does not need to be mutable

Auto merge of #4062 - huntiep:master, r=alexcrichton

Load local git name/email for cargo init

Fixes #3920

Include rustc version in metadata

Signed-off-by: Marc-Antoine Perennou <Marc-Antoine@Perennou.com>

Auto merge of #4138 - alexcrichton:fix-tests, r=alexcrichton

Fix tests on beta

Had a few usages of `-Z` leak out of the nightly channel.

Fix tests on beta

Had a few usages of `-Z` leak out of the nightly channel.

binding does not need to be mutable

Add test for local gitconf

Auto merge of #4126 - malbarbo:bump-jobserver, r=alexcrichton

Bump jobserver to 0.1.4

Bump jobserver to 0.1.4

Auto merge of #4118 - alexcrichton:hamt, r=matklad

Optimize a slew of Cargo internals

Cargo has historically had very little optimization applied to it. Despite that it's pretty speedy today but there's always a desire to be faster! I've noticed Cargo being particularly sluggish on projects like Servo and rust-lang/rust, so I started profiling and found quite a few low-hanging fruit!

This PR is a slew of optimizations across Cargo for various things found here and there. The banner optimizations are:

* Resolution with a lock file should be basically a noop in terms of execution time now. An optimization was done to avoid cloning `Context` unless necessary, and that basically means it doesn't get cloned now! As the number 1 source of slowdown in Cargo this is the biggest improvement.
* Lots of pieces in `resolve` are now `Rc<T>` for being more easily cloneable.
* `Summary` now internally contains an `Rc` like `Dependency`, making it much more quickly cloneable.
* `Registry` as a trait no longer returns a `Vec` but rather takes a closure to yield summaries up, removing lots of intermediate arrays.
* We no longer spawn a thread for all units of "fresh work", only when we're about to spawn a process.

Almost everything here was guided through profiling `./x.py build` on rust-lang/rust or `cargo build -p log` on Servo. Both of these stress "noop resolution" and the former also stresses noop builds.

Runs of `./x.py build` dropped from 4 to 2 seconds (with lots of low-hanging fruit still remaining in Cargo itself) and `cargo build -p log` dropped from 1.5s to 0.3s. Massif graphs showing Cargo's memory usage also show that the peak memory usage of Cargo in a noop build of Servo dropped from 300MB to 30MB during resolution.

I'm hoping that none of these optimizations makes the code less readable and/or understandable. There are no algorithmic improvements in this PR other than those transitively picked up by making clones cheaper and/or allocating less.

Fix tests

Remove the RefCell from `PackageRegistry`

Some choice refactoring makes it no longer necessary!

Comment about `Clone` on Context

Type alias `activations` to consolidate definition

Avoids duplicating tons of maps!

Remove stray Registry impls

They're basically barely used now anyway.

Avoid stack overflow when dropping RcList

Turn recursion into a loop

Remove `Clone` for a struct we don't want cloned

It's super expensive to clone a `Resolve` and the resolution implementation no
longer needs to do so, let's remove the impl.

Reorganize `PackageRegistry::query` a bit

Less branches and more intuitive flow.

Remove DependencyInner as a public API

No need for it to be exposed any more, let's just use `Rc::make_mut`
judiciously.

Cache `Context::target_filenames`

Relatively expensive to calculate, never changes, easy to add a cache!

Don't spawn threads for fresh work

On "fresh" builds this ends up just wasting a lot of time!

Remove more allocatoins in index querying

Removing some allocations arounds the stored hashes by having nested hash maps
instead of tuple keys. Also remove an intermediate array when parsing
dependencies through a custom implementation of `Deserialize`. While this
doesn't make this code path blazingly fast it definitely knocks it down in the
profiles below other higher-value targets.

Cut down allocations in Display impls

Avoid unnecessary `String` allocations in hot paths that get run a lot for large
graphs.

Optimize allocations in the registry index

Avoid some unnecessary clones, `to_vec`, etc. Not super optimizal but improves
the profile here regardless.

Optimize the interface of `Registry`.

Previously all intermediate stages would create and return `Vec<Summary>`, but
this is a pretty costly operation once you start layering. Ideally we'd use an
iterator-based approach here but working with that in trait objects is
difficult, so this commit takes a closure-based approach to avoid all the
intermediate allocations that are thrown away.

Try to not allocate when decoding registry json

There's a few keys we don't need owned versions of, so try using Serde's
zero-copy deserialization where we can.

Use `Rc::make_mut` in `Dependency`

Follow the same pattern with `Summary`

Make `Summary::clone` cheap with an inner `Rc`

This already happens in a few other places in Cargo (e.g. `Dependency`) and
`Summary` cloning turned up high in the profile, so let's make it cheaper.

Optimize resolution by removing allocations

This commit is a relatively serious optimization pass of the resolution phase in
Cargo, targeted at removing as many allocations as possible from this phase.
Executed as an iterative loop this phase of Cargo can often be costly for large
graphs but it's run on every single build!

The main optimization here is to avoid cloning the context and/or pushing a
backtracking frame if there are no candidates left in the current list of
candidates. That optimizes a fast-path for crates with lock files (almost all of
them) and gets us to the point where cloning the context basically disappears
from all profiling.

Auto merge of #4119 - fabricedesre:patch-1, r=alexcrichton

Fix typo in argument name.

Fix typo in argument name.

Auto merge of #4110 - alexcrichton:jobserver, r=matklad

Add a GNU make jobserver implementation to Cargo

This commit adds a GNU make jobserver implementation to Cargo, both as a client
of existing jobservers and also a creator of new jobservers. The jobserver is
actually just an IPC semaphore which manifests itself as a pipe with N bytes
of tokens on Unix and a literal IPC semaphore on Windows. The rough protocol
is then if you want to run a job you read acquire the semaphore (read a byte on
Unix or wait on the semaphore on Windows) and then you release it when you're
done.

All the hairy details of the jobserver implementation are housed in the
`jobserver` crate on crates.io instead of Cargo. This should hopefully make it
much easier for the compiler to also share a jobserver implementation
eventually.

The main tricky bit here is that on Unix and Windows acquiring a jobserver token
will block the calling thread. We need to either way for a running job to exit
or to acquire a new token when we want to spawn a new job. To handle this the
current implementation spawns a helper thread that does the blocking and sends a
message back to Cargo when it receives a token. It's a little trickier with
shutting down this thread gracefully as well but more details can be found in
the `jobserver` crate.

Unfortunately crates are unlikely to see an immediate benefit of this once
implemented. Most crates are run with a manual `make -jN` and this overrides the
jobserver in the environment, creating a new jobserver in the sub-make. If the
`-jN` argument is removed, however, then `make` will share Cargo's jobserver and
properly limit parallelism.

Closes #1744

Add a GNU make jobserver implementation to Cargo

This commit adds a GNU make jobserver implementation to Cargo, both as a client
of existing jobservers and also a creator of new jobservers. The jobserver is
actually just an IPC semaphore which manifests itself as a pipe with N bytes
of tokens on Unix and a literal IPC semaphore on Windows. The rough protocol
is then if you want to run a job you read acquire the semaphore (read a byte on
Unix or wait on the semaphore on Windows) and then you release it when you're
done.

All the hairy details of the jobserver implementation are housed in the
`jobserver` crate on crates.io instead of Cargo. This should hopefully make it
much easier for the compiler to also share a jobserver implementation
eventually.

The main tricky bit here is that on Unix and Windows acquiring a jobserver token
will block the calling thread. We need to either way for a running job to exit
or to acquire a new token when we want to spawn a new job. To handle this the
current implementation spawns a helper thread that does the blocking and sends a
message back to Cargo when it receives a token. It's a little trickier with
shutting down this thread gracefully as well but more details can be found in
the `jobserver` crate.

Unfortunately crates are unlikely to see an immediate benefit of this once
implemented. Most crates are run with a manual `make -jN` and this overrides the
jobserver in the environment, creating a new jobserver in the sub-make. If the
`-jN` argument is removed, however, then `make` will share Cargo's jobserver and
properly limit parallelism.

Closes #1744

Auto merge of #4117 - brson:vs2017, r=alexcrichton

Update gcc crate for MSVC 2017

This is just a slightly more correct version of the gcc crate, but shouldn't have any practical changes.

Auto merge of #4116 - alexcrichton:enotsupp, r=Mark-Simulacrum

Ignore ENOTSUP in file locking on Linux too

Apparently there are some filesystems that return this!

Closes #4096

Update gcc crate for MSVC 2017

Ignore ENOTSUP in file locking on Linux too

Apparently there are some filesystems that return this!

Closes #4096

Auto merge of #4038 - nisargthakkar:newBadgesAdd, r=alexcrichton

Updating doc to reflect new badges added

The badges added are:
Is it maintained: Resolution time
Is it maintained: Percentage of open issues
Codecov: Code coverage
Coveralls: Code coverage

Auto merge of #4090 - jluner:master, r=alexcrichton

Add error-chain errors.

Fixes #4209

Convert CargoResult, CargoError into an implementation provided by error-chain. The previous is_human machinery is mostly removed; now errors are displayed unless of the Internal kind, verbose mode will print all errors.

Auto merge of #4113 - alexcrichton:trim-travis, r=alexcrichton

Remove lots of dated configuration from this repo

Lots of data build stuff is still here from awhile ago when this repo was
producing Cargo binaries, but the rust-lang/rust repo is now responsible for all
these binaries and build configurations. We no longer need to produce artifacts
or have tons of cross-compiles as rust-lang/rust does all that work, instead
let's just test the likely-to-regress platforms and have rust-lang/rust take
care of the rest.

This commit:

* Deletes the old `configure` script and `Makefile`
* Rewrites `src/doc` management as a shell script
* Trims down Travis/AppVeyor configuration

Remove lots of dated configuration from this repo

Lots of data build stuff is still here from awhile ago when this repo was
producing Cargo binaries, but the rust-lang/rust repo is now responsible for all
these binaries and build configurations. We no longer need to produce artifacts
or have tons of cross-compiles as rust-lang/rust does all that work, instead
let's just test the likely-to-regress platforms and have rust-lang/rust take
care of the rest.

This commit:

* Deletes the old `configure` script and `Makefile`
* Rewrites `src/doc` management as a shell script
* Trims down Travis/AppVeyor configuration

Fixes review comments

Fix some formatting items.
Changes Internal error kind to preserve the original error.
Changes network retry logic to inspect full error chain for spurious
errors.

Restore macro_use

Resolve upstream updates to referenced crates

Merge remote-tracking branch 'upstream/master'

Fix formatting issue blocking build

Auto merge of #4107 - alexcrichton:update-deps, r=alexcrichton

Update a slew of dependencies and such

Standard bug fixes and otherwise keeping up to date

Update a slew of dependencies and such

Standard bug fixes and otherwise keeping up to date

Auto merge of #4031 - torkleyy:exclude, r=alexcrichton

Add --exclude flag

Allows to exclude packages in conjunction
with --all.

Addresses #2878

Fix build_all_exclude

by using with_stderr_contains because
parallel build may mix up the lines.

Additionally, remove the last line of
the benchmark.

Add tests for --exclude

Add exclude flag to bench, check and test

Move package flag handling into cargo_compile

Add --exclude flag

Allows to exclude packages in conjunction
with --all.

Update gcc dependency to match updated gcc elsewhere in cargo

Merge remote-tracking branch 'upstream/master'

Fix failing tests

Auto merge of #4103 - brson:vs2017, r=alexcrichton

Update lockfile for gcc and cmake crates to pick up MSVC 2017 fixes

Seems to work.

Update lockfile for gcc and cmake crates to pick up MSVC 2017 fixes

Auto merge of #4105 - birkenfeld:master, r=alexcrichton

Do not output "Blocking - waiting for lock" with -q

This is not an error, so it should not be printed unconditionally
to stderr.  Since it can appear intermittently (e.g. due to editor
integration calling build every now and then) it will disturb
things that expect exact output from cargo (e.g. test suites).

Do not output "Blocking - waiting for lock" with -q

This is not an error, so it should not be printed unconditionally
to stderr.  Since it can appear intermittently (e.g. due to editor
integration calling build every now and then) it will disturb
things that expect exact output from cargo (e.g. test suites).

Auto merge of #4099 - matklad:ignore-root-target, r=alexcrichton

Ignore only root target directory

r? @alexcrichton

Ignore only root target directory

We used to ignore all target directories, because it was common to
have multiple packages with different target directories in a single
repository. Now, when workspaces are here, such setups usually have a
single target, and we can .gitignore only it. It's useful because
sometimes you want to have a module named `target` in Rust.

If you use non-workspaced multi-package setup, you can create a
.gitignore with `/target/` for each package.

Addresses review comments

* rebased
* removed `human` (deferring removing `internal` to a later PR)
* cargo_test.rs - fails on other error kinds
* unnecessary `map_err(CargoError::from)` removed
* fold NetworkError entirely into CargoError
* added justification comment for `extend_lifetime`
* various formatting goofs

The following tests are currently failing:
* `http_auth_offered`
* `custom_build_script_failed`
* `build_deps_for_the_right_arch`
* `dep_with_bad_submodule`
* `update_with_shared_deps`
* `finds_author_email`
* `finds_author_user`
* `finds_author_user_escaped`
* `finds_author_username`
* `finds_git_author`
* `exit_code`

Auto merge of #4098 - callahad:remove-superfluous-semis, r=alexcrichton

Remove superfluous `;;` sequences

Per @Mark-Simulacrum's request in https://github.com/rust-lang/rust/pull/42215#issuecomment-303908683

Remove superfluous `;;` sequences

Merge branch 'master' of https://github.com/jluner/cargo

Add error-chain errors

Convert CargoResult, CargoError into an implementation provided by error-chain. The previous is_human machinery is mostly removed; now errors are displayed unless of the Internal kind, verbose mode will print all errors.

Auto merge of #4088 - Nemikolh:buildscript-stderr, r=alexcrichton

Write stderr output from build-scripts next to stdout output

Closes #3462.

Please let me know if you want to change the file name for the error output. I originally thought that `stdout` and `stderr` would have been nice but I'm worried that changing `output` to `stdout` would cause breakage. So I choose the more conservative route.

Add error-chain errors

Convert CargoResult, CargoError into an implementation provided by error-chain. The previous is_human machinery is mostly removed; now errors are displayed unless of the Internal kind, verbose mode will print all errors.

Mention the stderr file in the documentation.

Write stderr output from build-scripts to disk.

Closes #3462

Auto merge of #4085 - alexcrichton:fix-rewrite, r=matklad

Fix a serialization error on publish

In TOML we have to emit all keys before we emit all sub-tables, so to handle
that for dependencies just transform everything to an elaborated version.

Closes #4081

Fix a serialization error on publish

In TOML we have to emit all keys before we emit all sub-tables, so to handle
that for dependencies just transform everything to an elaborated version.

Closes #4081

Auto merge of #4084 - shiver:issue-3360, r=alexcrichton

3360 - Allow for features to be either comma or space delimited.

This is my attempt at tackling issue #3360.
Hopefully I interpreted the original request correctly and this is what you were looking for.

Any suggestions you might have to improve the submission would be great.
Thanks!

3360 - Allow for features to be either comma or space delimited.

Auto merge of #3937 - andwur:rustc-flag-determinism, r=alexcrichton

Deterministic -L and --cfg flag ordering

This ensures that the `-L` and `--cfg` flags passed to `rustc` have stable ordering across runs.

It also does the same for `--cfg` flags passed to `rustdoc`.

Fixes #3895

Only sort deps in build script dependency generation

Auto merge of #4069 - alexcrichton:remove-unused-dep, r=alexcrichton

Remove chrono as a dependency

Turns out we don't use it!

Remove chrono as a dependency

Turns out we don't use it!

Auto merge of #4030 - alexcrichton:rewrite-cargo-toml, r=matklad

Rewrite Cargo.toml when packaging crates

This commit is an implementation of rewriting TOML manifests when we publish
them to the registry. The rationale for doing this is to provide a guarantee
that downloaded tarballs from crates.io can be built with `cargo build`
(literally). This in turn eases a number of other possible consumers of crates
from crates.io

* Vendored sources can now be more easily modified/checked as cargo build should
  work and they're standalone crates that suffice for `path` dependencies
* Tools like cargobomb/crater no longer need to edit the manifest and can
  instead perform regression testing on the literal tarballs they download
* Other systems such as packaging Rust code may be able to take advantage of
  this, but this is a less clear benefit.

Overall I'm hesitatnt about this, unfortunately. This is a silent translation
happening on *publish*, a rare operation, that's difficult to inspect before it
flies up to crates.io. I wrote a script to run this transformation over all
crates.io crates and found a surprisingly large number of discrepancies. The
transformation basically just downloaded all crates at all versions,
regenerated the manifest, and then tested if the two manifests were (in memory)
the same.

Unfortunately historical Cargo had a critical bug which I think made this
exercise not too useful. Cargo used to *not* recreate tarballs if one already
existed, which I believe led to situations such as:

1. `cargo publish`
2. Cargo generates an error about a dependency. This could be that there's a
   `version` not present in a `path` dependency, there could be a `git`
   dependency, etc.
3. Errors are fixed.
4. `cargo publish`
5. Publish is successful

In step 4 above historical Cargo *would not recreate the tarball*. This means
that the contents of the index (what was published) aren't guaranteed to match
with the tarball's `Cargo.toml`. When building from crates.io this is ok as the
index is the source of truth for dependency information, but it means that *any*
transformation to rewrite Cargo.toml is impossible to verify against all crates
on crates.io (due to historical bugs like these).

I strove to read as many errors as possible regardless, attempting to suss out
bugs in the implementation here. To further guard against surprises I've updated
the verification step of packaging to work "normally" in these sense that it's
not rewriting dependencies itself or changing summaries. I'm hoping that this
serves as a good last-ditch effort that what we're about to publish will indeed
build as expected when uploaded to crates.io

Overall I'm probably 70% confident in this change. I think it's necessary to
make progress, but I think there are going to be very painful bugs that arise
from this feature. I'm open to ideas to help weed out these bugs ahead of time!
I've done what I can but I fear it may not be entirely enough.

Closes #4027

Rewrite Cargo.toml when packaging crates

This commit is an implementation of rewriting TOML manifests when we publish
them to the registry. The rationale for doing this is to provide a guarantee
that downloaded tarballs from crates.io can be built with `cargo build`
(literally). This in turn eases a number of other possible consumers of crates
from crates.io

* Vendored sources can now be more easily modified/checked as cargo build should
  work and they're standalone crates that suffice for `path` dependencies
* Tools like cargobomb/crater no longer need to edit the manifest and can
  instead perform regression testing on the literal tarballs they download
* Other systems such as packaging Rust code may be able to take advantage of
  this, but this is a less clear benefit.

Overall I'm hesitatnt about this, unfortunately. This is a silent translation
happening on *publish*, a rare operation, that's difficult to inspect before it
flies up to crates.io. I wrote a script to run this transformation over all
crates.io crates and found a surprisingly large number of discrepancies. The
transformation basically just downloaded all crates at all versions,
regenerated the manifest, and then tested if the two manifests were (in memory)
the same.

Unfortunately historical Cargo had a critical bug which I think made this
exercise not too useful. Cargo used to *not* recreate tarballs if one already
existed, which I believe led to situations such as:

1. `cargo publish`
2. Cargo generates an error about a dependency. This could be that there's a
   `version` not present in a `path` dependency, there could be a `git`
   dependency, etc.
3. Errors are fixed.
4. `cargo publish`
5. Publish is successful

In step 4 above historical Cargo *would not recreate the tarball*. This means
that the contents of the index (what was published) aren't guaranteed to match
with the tarball's `Cargo.toml`. When building from crates.io this is ok as the
index is the source of truth for dependency information, but it means that *any*
transformation to rewrite Cargo.toml is impossible to verify against all crates
on crates.io (due to historical bugs like these).

I strove to read as many errors as possible regardless, attempting to suss out
bugs in the implementation here. To further guard against surprises I've updated
the verification step of packaging to work "normally" in these sense that it's
not rewriting dependencies itself or changing summaries. I'm hoping that this
serves as a good last-ditch effort that what we're about to publish will indeed
build as expected when uploaded to crates.io

Overall I'm probably 70% confident in this change. I think it's necessary to
make progress, but I think there are going to be very painful bugs that arise
from this feature. I'm open to ideas to help weed out these bugs ahead of time!
I've done what I can but I fear it may not be entirely enough.

Closes #4027

Auto merge of #4065 - michaelwoerister:smarter-cargo-incremental, r=alexcrichton

Only compile user-modifiable projects incrementally.

Fixes #3972. Thanks for pointing me to the correct implementation, Alex!

r? @alexcrichton

Only compile user-modifiable projects incrementally.

Auto merge of #4060 - alexcrichton:nobare, r=matklad

Don't use a bare checkout of the index

Both old and new Cargo share the same index, so be sure to maintain
compatibility by initializing a non-bare repository for the index. Note that
a nightly Cargo still won't check out the index, but when an older Cargo comes
along and tries to check it out then it'll work.

Closes #4058

Auto merge of #4055 - mersinvald:less-strict-libtest-tests, r=alexcrichton

Making tests less strict so they won't break on output changes

Required for https://github.com/rust-lang/rust/pull/41910

cc @Mark-Simulacrum
cc @alexcrichton

Auto merge of #3979 - hjr3:issue-3911, r=alexcrichton

Support glob syntax in workspace members

Fixes #3911

Load local git name/email for cargo init

Fixes #3920

Don't use a bare checkout of the index

Both old and new Cargo share the same index, so be sure to maintain
compatibility by initializing a non-bare repository for the index. Note that
a nightly Cargo still won't check out the index, but when an older Cargo comes
along and tries to check it out then it'll work.

Closes #4058

Add test case for non-deterministic --cfg flags passed to rustc

Fix non-deterministic --cfg feature flag list generation

The resolved features were returned in a HashSet and then iterated over,
which returns the feature names in arbitrary order.

See #3895